Hai anh em Taulant và Granit bắt đầu sự nghiệp bóng đá tại Concordia Basel và đều chuyển đến Basel năm 2012. Xhaka chơi cho nhiều lứa trẻ của Basel và từ năm 2008 đã trở thành thành viên của đội U-21. Từ 2008-2010, anh chơi 37 trận cho đội U-21 và ghi bảy bàn thắng.[12]

Basel

Cựu huấn luyện viên Basel, Thorsten Fink từng nói rằng: "Xherdan Shaqiri là cầu thủ bóng đá tài năng nhất Thụy Sĩ... chỉ sau Granit Xhaka.[13] Huấn luyện viên của đội tuyển bóng đá Thụy Sĩ Ottmar Hitzfeld, cũng từng ví von anh là một phiên bản trẻ tuổi của cầu thủ nổi tiếng Bastian Schweinsteiger.'[13]

Kể từ mùa 2010-11, Xhaka bắt đầu thi đấu cho đội một của FC Basel. Anh có trận đấu ra mắt tại vòng sơ loại thứ ba mùa 2010-11 UEFA Champions League 2010-11 làm khách trước Debreceni VSC tại sân vận động Ferenc Szusza. Đến cuối trận đấu, anh ghi bàn thứ hai trong thắng lợi 2-0 của Basel.[14] Anh lập công lần đầu tại Super League trong chiến thắng sân nhà 5-1 trước Thun vào ngày 15 tháng 5 năm 2011.[15] Vào cuối mùa 2010-11, Xhaka đoạt danh hiệu vô địch Super League cùng Basel; còn trong mùa tiếp theo anh còn giành cú đúp danh hiệu vô địch quốc gia và Siêu cúp Thụy Sĩ cùng đội bóng.[16][17]

Borussia Mönchengladbach

Ngày 18 tháng 5 năm 2012, Basel thông báo trên trang chủ của họ rằng Xhaka đã đồng ý các điều khoản với câu lạc bộ Borussia Mönchengladbach của Lucien Favre. Sau khi buổi kiểm tra sức khỏe được hoàn tất, anh ký hợp đồng có thời hạn 5 năm với đội bóng. Mức phí chuyển nhượng không được Mönchengladbach tiết lộ, nhưng ước tính vào khoảng 8,5 triệu €.[18]

Xhaka có trận ra mắt câu lạc bộ tại vòng 1 giải đấu Siêu cúp Đức trong trận đấu với Alemannia Aachen vào ngày 18 tháng 8 năm 2012.[19] Ba ngày sau, Xhaka có trận đấu thứ 2 cho câu lạc bộ trong trận thua 1-3 trước đối thủ FC Dynamo Kyiv tại vòng loại đấu trường UEFA Champions League mùa giải 2012-13.[20] Ngày 25 tháng 8, anh thi đấu trận đầu tiên tại giải vô địch quốc gia Bundesliga, trong chiến thắng sân nhà 2-1 với TSG 1899 Hoffenheim.[21] Anh ghi bàn thắng đầu tiên và duy nhất của mình trong mùa giải trong trận thua 3-2 trước câu lạc bộ 1. FC Nürnberg.[22]

Ở mùa giải thứ hai, Xhaka có 29 trận thi đấu và năm lần vào sân thay người giúp Borussia về vị trí thứ 6 tại Bundesliga.[22] Trong mùa 2014–15, Xhaka thi đấu tổng cộng 34 trận tại Bundesliga cho Borussia và có tên trong đội hình tiêu biểu của giải đấu.[23] Borussia cán đích ở vị trí thứ 3 trong mùa giải và giành quyền tham dự UEFA Champions League 2015-16

Ngày 23 tháng 9 năm 2015, Xhaka đeo băng đội trưởng Borussia và ghi bàn đầu tiên trong mùa giải, với pha đánh đầu từ cú đá phạt của Raffael, trong chiến thắng 4-2 trước Augsburg.[24] Ở trận tiếp theo, Xhaka một lần nữa đeo băng thủ quân và ghi một bàn trong thắng lợi 3-1 trước VfB Stuttgart.[25] Ngày 30 tháng 9, anh có trận ra sân đầu tiên cho Borussia tại Champions League trong trận thua sân nhà ở vòng bảng 2-1 trước Manchester City.[22] Xhaka đã nhận thẻ đỏ trong trận đấu thứ 95 vào ngày 20 tháng 9, vì tấn công đối phương trong hiệp một; anh tình nguyện tặng €20,000 để làm từ thiện giống như lời xin lỗi.[26]

Arsenal

Ngày 25 tháng 5 năm 2016, Arsenal có chữ ký của Xhaka từ Borussia Mönchengladbach với mức phí rơi vào khoảng 30–35 triệu £.[27][28][29] Anh có trận ra mắt đội bóng mới (vào sân thay thế ở giữa trận) trong chiến thắng 2-1 trước MLS All-Stars.[30]

Xhaka có trận ra mắt đầu tiên cho Arsenal trong trận mở màn giải bóng đá Ngoại hạng Anh 2016-17, đội để thua 4-3 trước Liverpool, anh thay thế Mohamed Elneny ở phút 65 và bị nhận thẻ vàng.[31] Bàn thắng đầu tiên của anh cho câu lạc bộ đến vào ngày 17 tháng 9 năm 2016, một cú sút sấm sét 25 mét trong chiến thắng 4-1 trước Hull City.[32] Bốn ngày sau, anh lại lập công từ một cú sút xa uy lực từ khoảng cách 30 mét trong thắng lợi 4-0 tại cúp EFL trước Nottingham Forest.[33] Thẻ đỏ đầu tiên anh phải nhận tại Arsenal là thẻ đỏ thứ tám của anh cho câu lạc bộ và tuyển quốc gia kể từ tháng 4 năm 2014, trong thắng lợi 3-2 trước Swansea City.[34] Ngày 22 tháng 1 năm 2017, Xhaka lần thứ hai bi đuổi khỏi sân trong mùa giải bởi trọng tài Jon Moss, trong thắng lợi sân nhà 2-1 của Arsenal trước Burnley.[35]